Um token é uma unidade mínima de texto, geralmente uma palavra.

Exemplo: Na frase “Fiel como um cão”, os tokens são: “fiel”, “como”, “um”, “cão”.

Bigramas são pares consecutivos de palavras em um texto.

Exemplo: No verso “Porque chumbo trocado não dói” os bigramas são “Porque chumbo”, “chumbo trocado”, “trocado não”, “não dói”

Palavras comuns que geralmente não agregam significado em uma análise, como “o”, “de”, “e”.

Exemplo: “Minha vó é show de bola / Aprendeu lá em Angola / Encontrou meu corpo aberto e fechou” - sem as stopwords: “minha vó é bola aprendeu lá angola encontrou meu corpo aberto fechou”